Generative AI Server

Was ist Generative AI?

Die KI-Branche wächst schnell, mit einer prognostizierten jährlichen Wachstumsrate von 37,3 % bis 2030, die vor allem auf die Einführung der Generative AI zurückzuführen ist. Generative AI (GenAI) ist eine Technologie, die mithilfe von künstlicher Intelligenz (KI) und Deep-Learning Inhalte, wie Texte, Bilder oder Videos, auf Basis von Benutzereingaben, sogenannten Prompts, erzeugt.

Wichtige Elemente sind große Sprachmodelle (Large Language Models, LLM), die auf neuronalen Netzen basieren und mit Textdaten trainiert werden, um unter anderem Aufgaben wie das Beantworten von Fragen, die Zusammenfassung von Dokumenten sowie Übersetzung auszuführen. Bekannte Beispiele für LLMs sind Chat GPT von Open AI und Google Bard, die wesentlich zum schnellen Wachstum der generativen KI beigetragen haben.

Im Gegensatz zu den gängigen Cloud-basierten Lösungen werden bei einer On-Premise Lösung vortrainierte Basismodelle direkt auf dem lokalen LLM Server (GenAI Server) im Unternehmen ausgeführt. Dieser Ansatz ermöglicht es, Modelle mit eigenen Daten zu trainieren, um die Produktivität zu steigern und gleichzeitig sensible Daten zu schützen.

Vorteile unserer On-Premise GenAI Server

  • Erhöhte Datensicherheit & Kontrolle

    On-Premise für hohe Sicherheit und Datenschutz. Arbeiten Sie in einer kontrollierten Umgebung, die für sensible geschützte Informationen entscheidend ist.

  • Bereichsspezifische Modellanpassung

    Erstellen Sie Modelle, die auf Ihre spezifischen Bedürfnisse und Ihr Unternehmen zugeschnitten sind.

  • NVIDIA AI Enterprise ready hardware

    Unsere Server wurden getestet, um die Kompatibilität mit NVIDIA® AI Enterprise zu gewährleisten und NVIDIA® NIMs für eine Vielzahl von Modellen auszuführen.

Nvidia Logo

Wählen Sie den passenden GenAI Server für Ihre Applikation

Ein GenAI Server ist eine vielseitige Plattform, auf der verschiedene Arten von generativen KI-Modellen ausgeführt werden können, beginnend mit Large Language Models (LLMs). Für Unternehmen, die von der generativen KI profitieren wollen, ist es entscheidend, sich mit der richtigen Technologie auszustatten, um das volle Potenzial dieser fortschrittlichen Modelle zu erschließen.

Unsere GenAI Server sind so entwickelt, dass sie unterschiedliche Anforderungen für diverse Anwendungsfälle erfüllen.
Von Entry-Level über Plus und Pro bis hin zu Ultimate unterstützt jede Stufe eine Vielzahl von Modellen und -typen, vom Einsatz vortrainierter Modelle bis hin zum intensiven LLM-Training. Die Systeme verfügen über KI-Beschleunigungsfunktionen, verschiedene GPU-Optionen und umfangreiche Speicherkapazitäten.

Entry

Plus

Pro

Ultimate

  • Kompakt, aktiv gekühlt

  • 1x NVIDIA® L4 ​ mit 24 GB GPU RAM

  • Edge GenAI Inference: vortrainierte Modelle

  • Modellgröße bis zu 8B Parameter

  • Kompakt, passiv gekühlt

  • NVIDIA® Jetson AGX Orin™ ​mit 64 GB GPU RAM

  • Edge GenAI Inference: vortrainierte Modelle, RAG

  • Modellgröße bis zu 70B Parameter

  • 19″ Rack, aktiv gekühlt

  • Bis zu 3x NVIDIA® RTX 6000 Ada mit je 48 GB GPU RAM

  • Edge GenAI Inference: vortrainierte Modelle, RAG
    Edge AI Model Finetuning

  • Modellgröße bis zu 70B Parameter

  • 19″ Rack, hybrid gekühlt

  • Bis zu 2x NVIDIA® H100 NVL ​mit jeweils 188 GB RAM

  • Edge GenAI Inference: vortrainierte Modelle, RAG
    Edge AI Model Finetuning
    extensives Training

  • Modellgröße über 100B Parameter

Use Case: Einsatz von GenAI zur internen Wissensoptimierung

Your model, your data, your way

Wir haben ein Open-Source-Toolkit entwickelt, um die Performance unserer Hardware-Plattformen zu demonstrieren. Wählen Sie Ihre bevorzugte LLM-Engine und Ihr passendes Modell und bringen Sie Ihr Unternehmenswissen in die Modelle mit ein, um Chatbots zu erstellen, die auf Ihre Bedürfnisse zugeschnitten sind.

Eurotech setzt diese Technologie bereits ein, um seine Vertriebsmitarbeiter durch einen wissensbasierten Copiloten mit Zugang zur internen Wissensdatenbank zu unterstützen. Die Lösung nutzt NVIDIA® AI Enterprise, NVIDIA® Inference Microservices (NIM) für LLMs und Open-Source-Frameworks wie llama-index. Um sicherzustellen, dass Sie das volle Potenzial in Ihren Projekten ausschöpfen können, stellen wir Ihnen das Toolkit hier auf GitHub zur Verfügung. Sehen Sie sich die Anwendung in unserem Demo-Video an oder lesen Sie hier mehr. 

Nvidia Logo
Image_GenAI

Chatten Sie mit Ihren Daten zur Steigerung der Produktivität

Der Einsatz von GenAI bietet zahlreiche Möglichkeiten in verschiedenen Branchen, insbesondere in der Industrieaautomation, im Energiesektor und in der Medizintechnik. Die einfache Interaktion mit einer Wissensdatenbank verbessert die Zusammenarbeit von Mensch, Maschine und Wissensdatenbanken und steigert so die Produktivität und Effizienz in der Forschung und Entwicklung.
Es gibt verschiedene Anwendungsfälle für generative KI, von intelligenten Chatbots (Chat AI) bis hin zu wissensbasierten Copiloten, die mit Datenbanken weiter trainiert werden können.

Anwendungen von GenAI

Intelligenter Chatbot

Fokus auf Frage-und-Antwort-Aufgaben.

z. B. Kundendienstmitarbeiter, Helpdesk

Wissensbasierter Copilot

Ein KI-Copilot stellt eine Verbindung zu Wissensdatenbanken (Dokumenten oder Websites) her und führt kontextbezogene Aufgaben wie das Erstellen, Schreiben, Kodieren und Analysieren von Inhalten aus.

z.B. Dokumentations-Copilot, Assistent für IT

Visueller Agent

Der visuelle Agent ist in der Lage, Multimedia (Bildern und Videos) mit Vision-Language-Modellen (VLM) zu verarbeiten. So können Erkenntnisse aus Videos mithilfe von natürlicher Sprache zusammen gefasst, durchsucht und extrahiert werden.

z.B. NVIDIAs Vision Insights Agent (VIA) für visuelle Problemerkennung, Inspektion und Signalsendung

Jetzt kostenlos beraten lassen

Sind Sie bereit, GenAI zu nutzen?
Sprechen Sie mit einem Experten, um die passende Hardwarekonfiguration für Ihre Anwendung zu finden.

    Anrede:

    Ich stimme zu, dass meine Angaben aus dem Kontaktformular zur Beantwortung meiner Anfrage erhoben, gespeichert und verarbeitet werden.

    blauer digitaler chatbot

    FAQ

    NVIDIA® Inference Microservices (NVIDIA® NIMs) ist ein Framework zur Verbesserung der Effizienz und Leistung von KI-Modellen. Es stellt sicher, dass KI-Anwendungen optimal auf der Hardware ausgeführt werden und erhöht die Geschwindigkeit und Zuverlässigkeit von Echtzeit-KI-Aufgaben.

    Profitieren Sie von NVIDIA® Inference Microservices (NVIDIA® NIMs) für LLMs powered by NVIDIA® AI Enterprise, das von einer erfahrenen KI-Community eingesetzt wird. Dieser Ansatz vereinfacht und beschleunigt die Bereitstellung und das Training maßgeschneiderter, komplexer LLMs. NVIDIA® NIM gewährleistet eine optimierte Inferenz mit mehr als zwei Dutzend gängiger KI-Modelle von NVIDIA® und seinen Partnern.

    Mit Hilfe seines Generative AI Servers hat Eurotech einen Copiloten mit Zugriff auf die interne Wissensdatenbank zur Unterstützung seiner Vertriebsmitarbeiter entwickelt. Mittels Retrieval Augmented Generation (RAG) wurde der Chatbot um Eurotech Produktdatenblättern und Produkthandbüchern erweitert. Durch den sicheren Einsatz innerhalb des Unternehmens wurde die Wissensdatenbank um interne, domänenspezifische Inhalte wie Konstruktionsunterlagen erweitert. Den jungen Vertriebsingenieuren steht nun ein intelligenter Tutor zur Seite, der sie beim Onboarding oder bei der Beantwortung von Kundenanfragen unterstützt. Die Lösung nutzt NVIDIA® AI Enterprise, NVIDIA® NIM für LLMs und Open Source Frameworks wie llama-index und ist auf GitHub verfügbar.

    LLMs sind hochentwickelte Modelle, die auf den Prinzipien der künstlichen Intelligenz und des maschinellen Lernens basieren. Diese Modelle sind speziell darauf trainiert, große Mengen an Textdaten zu analysieren und zu verstehen, um Texte zu generieren, die der menschlichen Sprache ähneln.

    Mehr erfahren

    Will man ein LLM-Model, welchem Informationen seiner eigenen Daten zu Verfügung stehen, verwenden, gibt es drei Möglichkeiten:

    1. Sein eigenes LLM-Model von Grund auf erstellen und mit den gewünschten Daten trainieren
    2. Ein vortrainiertes LLM-Model mit seinen eigenen Daten fine-tunen
    3. Ein RAG-System aufbauen
    © InoNet Computer GmbH. Alle Rechte vorbehalten.